深度监督或称为“中间监督”或“辅助监督”是在神经网络的隐藏层上增加监督。最近，该技术越来越多地应用于深层神经网络学习系统中，以用于各种计算机视觉应用。人们达成共识，即深层监督有助于通过减轻梯度消失的问题来改善神经网络的性能，这是深层监督的众多优势之一。此外，在不同的计算机视觉应用程序中，可以以不同的方式应用深度监督。如何最大程度地利用深度监督来改善不同应用程序中的网络性能。在本文中，我们对理论和应用程序中的深入监督进行了全面的深入审查。我们建议对不同深度监督网络进行新的分类，并讨论计算机视觉应用程序中当前深层监督网络的优势和局限性。

本文旨在研究入侵攻击，然后为区块链网络开发新的网络攻击检测框架。具体来说，我们首先在实验室设计和实施区块链网络。该区块链网络将实现两个目的，即为我们的学习模型生成真实的流量数据（包括正常数据和攻击数据），并实施实时实验，以评估我们建议的入侵检测框架的性能。据我们所知，这是第一个在区块链网络中用于网络攻击的实验室中合成的数据集。然后，我们提出了一个新颖的协作学习模型，该模型允许区块链网络中的有效部署来检测攻击。提出的学习模型的主要思想是使区块链节点能够积极收集数据，从其数据中分享知识，然后与网络中的其他区块链节点交换知识。这样，我们不仅可以利用网络中所有节点的知识，而且还不需要收集所有原始数据进行培训，以便在常规的集中学习解决方案等集中式节点上进行培训。这样的框架还可以避免暴露本地数据的隐私以及过多的网络开销/拥堵的风险。密集模拟和实时实验都清楚地表明，我们提出的基于协作的入侵检测框架可以在检测攻击方面达到高达97.7％的准确性。

代表连接主义系统中象征性知识的想法一直是一项长期努力，最近引起了机器学习和可扩展声音的目标的目标。早期工作表明了命题逻辑和对称神经网络之间的对应关系，这仍然没有与变量的数量不符号，其培训制度效率低下。在本文中，我们引入了逻辑Boltzmann机器（LBM），这是一种神经组织系统，可以代表严格的析出正常形式的任何命题逻辑配方。我们证明了LBM中的能量最小化与逻辑可靠性之间的等价，从而表明LBM能够合理推理。我们凭经验评估了推理，表明LBM能够通过搜索可能（约10亿）分配的0.75％的0.75％来寻找一类逻辑公式的所有令人满意的分配。我们将LBM的学习与符号感应逻辑编程系统，最先进的神经系统和基于神经网络的系统，在七种数据集中的五个中实现了更好的学习性能。

Adversarial machine learning has been both a major concern and a hot topic recently, especially with the ubiquitous use of deep neural networks in the current landscape. Adversarial attacks and defenses are usually likened to a cat-and-mouse game in which defenders and attackers evolve over the time. On one hand, the goal is to develop strong and robust deep networks that are resistant to malicious actors. On the other hand, in order to achieve that, we need to devise even stronger adversarial attacks to challenge these defense models. Most of existing attacks employs a single $\ell_p$ distance (commonly, $p\in\{1,2,\infty\}$) to define the concept of closeness and performs steepest gradient ascent w.r.t. this $p$-norm to update all pixels in an adversarial example in the same way. These $\ell_p$ attacks each has its own pros and cons; and there is no single attack that can successfully break through defense models that are robust against multiple $\ell_p$ norms simultaneously. Motivated by these observations, we come up with a natural approach: combining various $\ell_p$ gradient projections on a pixel level to achieve a joint adversarial perturbation. Specifically, we learn how to perturb each pixel to maximize the attack performance, while maintaining the overall visual imperceptibility of adversarial examples. Finally, through various experiments with standardized benchmarks, we show that our method outperforms most current strong attacks across state-of-the-art defense mechanisms, while retaining its ability to remain clean visually.

引入了模型对帐问题（MRP），以解决可解释的AI计划中的问题。 MRP的解决方案是对人与计划代理（机器人）模型之间差异的解释。解决MRP的大多数方法都认为，需要提供解释的机器人知道人类模型。在几种情况下，这个假设并不总是现实的（例如，人可能会决定更新她的模型，并且机器人不知道更新）。在本文中，我们提出了一种基于对话的方法，用于计算MRP的解释，即（i）机器人不知道人类模型； （ii）人类和机器人共享计划域的谓词及其交换是关于行动描述和流利的价值； （iii）双方之间的沟通是完美的； （iv）各方是真实的。 MRP解决方案是通过对话框计算的，该对话框定义为机器人和人之间的一系列交换序列。在每回合中，机器人向人类发送了一个潜在的解释，称为提案，她对提案的评估回答称为回应。我们开发了用于计算机器人和人类响应的算法，并将这些算法实现在将命令式手段与使用Clingo的多拍功能的答案集编程相结合的系统中。

有效的量子控制对于使用当前技术的实用量子计算实施是必需的。用于确定最佳控制参数的常规算法在计算上是昂贵的，在很大程度上将它们排除在模拟之外。构成作为查找表的现有硬件解决方案不精确且昂贵。通过设计机器学习模型来近似传统工具的结果，可以生成更有效的方法。然后可以将这样的模型合成为硬件加速器以用于量子系统。在这项研究中，我们演示了一种用于预测最佳脉冲参数的机器学习算法。该算法的轻量级足以适合低资源FPGA，并以175 ns的延迟和管道间隔为5 ns，$〜>〜>〜$〜>〜$ 0.99。从长远来看，这种加速器可以在传统计算机无法运行的量子计算硬件附近使用，从而在低潜伏期以合理的成本实现量子控制，而不会在低温环境之外产生大型数据带宽。

车辆到达时间预测已被广泛研究。随着物联网设备和深度学习技术的出现，估计的到达时间（ETA）已成为智能运输系统中的关键组成部分。尽管ETA存在许多工具，但由于特殊车辆的交通数据有限，ETA的特殊车辆（例如救护车，消防车等）仍然具有挑战性。现有作品使用一种模型用于所有类型的车辆，这可能会导致精确度较低。为了解决这个问题，作为该领域的第一个，我们为驾驶时间预测提出了一个深度转移学习框架TLETA。 TLETA构建了细胞时空知识网格，用于提取驾驶模式，并结合道路网络结构嵌入以构建ETA的深神经网络。 Tleta包含可转移的层，以支持不同类别的车辆之间的知识转移。重要的是，我们的转移模型仅训练最后一层以绘制转移的知识，从而大大减少了训练时间。实验研究表明，我们的模型以高精度预测旅行时间，并胜过许多最先进的方法。

近年来，由于其网状柔性和计算效率，近年来，部分微分方程（PDE）的深度学习方法受到了很多关注。但是，到目前为止，大多数作品都集中在时间依赖性的非线性微分方程上。在这项工作中，我们用众所周知的物理知情神经网络分析了潜在问题，用于微分方程，边界上的约束很少（即，约束仅在几个点上）。这种分析促使我们引入了一种名为Finnet的新技术，用于通过将有限的差异纳入深度学习来解决微分方程。即使我们在训练过程中使用网格，预测阶段也不是网状的。我们通过解决各种方程式的实验来说明我们方法的有效性，这表明Finnet可以求解较低的错误率，即使Pinns不能，也可以工作。

寻找合适的工作和狩猎符合条件的候选人对求职和人力资源机构来说很重要。通过关于职位描述的广泛信息，员工和雇主需要帮助，以根据职位描述文本自动检测职位标题。在本文中，我们提出了用于预测作业描述文本的相关职位标题的多标签分类方法，并实现具有不同预先训练的语言模型的BI-GRU-LSTM-CNN来申请作业标题预测问题。具有多语言预先训练模型的伯特获得了开发和测试集的F1分数的最高结果，该组在开发集中为62.20％，测试集47.44％。

关键点检测在各种应用中起着重要作用。然而，预测诸如人手的小物体的关键点是一个具有挑战性的问题。最近的作品融合了深度卷积神经网络（CNNS）的映射，可通过多级功能集成或多分辨率聚合。尽管取得了一些成功，但功能融合方法增加了CNNS的复杂性和不透明度。为了解决这个问题，我们提出了一个名为Multi-Scale Deep Smotional网络（P-MSDSNet）的新型CNN模型，该网络在不同尺度上学习具有深度监控的特征映射，以产生从层到层的自适应特征传播的注意映射。 P-MSDSNET具有多级架构，可扩展，同时其具有空间注意力的深度监控可提高每个阶段的特征学习的透明度。我们显示P-MSDSNet优于基准数据集的最先进的方法，同时需要更少数量的参数。我们还显示P-MSDSNet的应用来量化神经科学研究中的手指攻丝手动运动。